Anna Marie "Patty" Duke được sinh ra tại Elmhurst, Queens, New York,là con út trong gia đình có 3 anh chị em. Cha của bà là John Brock Duke là một tài xế Taxi,mẹ của bà là Frances (nhũ danh McMahon) là một kế toán viên.Bà mang 2 dòng máu Đức và Ailen.Bà với anh trai Raymond và cô em gái Carol đã phải trải qua một thời thơ ấu khó khăn. Cha của bà là một người nghiện rượu, và mẹ của bà bị  mắc bệnh trầm cảm lâm sàng và có khuynh hướng bạo lực.